This work provides a Deep Reinforcement Learning approach to solving a periodic review inventory control system with stochastic vendor lead times, lost sales, correlated demand, and price matching. While this dynamic program has historically been considered intractable, our results show that several policy learning approaches are competitive with or outperform classical methods. In order to train these algorithms, we develop novel techniques to convert historical data into a simulator. On the theoretical side, we present learnability results on a subclass of inventory control problems, where we provide a provable reduction of the reinforcement learning problem to that of supervised learning. On the algorithmic side, we present a model-based reinforcement learning procedure (Direct Backprop) to solve the periodic review inventory control problem by constructing a differentiable simulator. Under a variety of metrics Direct Backprop outperforms model-free RL and newsvendor baselines, in both simulations and real-world deployments.

神经网络（NNS）也很难有效地学习某些问题，例如奇偶校验问题，即使对于这些问题有简单的学习算法。NNS可以自己发现学习算法吗？我们展示了一个NN体系结构，在多项式时期，可以通过恒定尺寸的学习算法来学习以及任何有效的学习算法。例如，在奇偶校验问题上，NN学习和减少行，这是一种可以简单描述的有效算法。我们的体系结构结合了层和卷积重量共享之间的重复分享，即使网络本身可能具有数万亿个节点，也将参数数量降低到常数。在实践中，我们的分析中的常数太大而无法直接有意义，但我们的工作表明，经常性和卷积NNS（RCNN）的协同作用可能比单独的任何一个更强大。

我们研究了协变量偏移下的线性回归，其中输入协变量的边际分布在源和目标域上有所不同，而在两个域中，给定输入协变量的输出的条件分布相似。我们根据针对此问题的目标数据（均由在线SGD进行的目标数据（均由在线SGD执行）进行预处理研究，研究了转移学习方法。我们为这种方法建立了尖锐的实例依赖性高风险上限和下限。我们的界限表明，对于大量的线性回归实例，使用$ O（n^2）$源数据（以及稀缺或无目标数据）转移学习与使用$ n $目标数据的监督学习一样有效。此外，我们表明，即使只有少量的目标数据，也可能会大大减少预处理所需的源数据量。我们的理论阐明了预处理的有效性和局限性以及对解决协变量转移问题的填补的好处。

当我们扩大数据集，模型尺寸和培训时间时，深入学习方法的能力中存在越来越多的经验证据。尽管有一些关于这些资源如何调节统计能力的说法，但对它们对模型培训的计算问题的影响知之甚少。这项工作通过学习$ k $ -sparse $ n $ bits的镜头进行了探索，这是一个构成理论计算障碍的规范性问题。在这种情况下，我们发现神经网络在扩大数据集大小和运行时间时会表现出令人惊讶的相变。特别是，我们从经验上证明，通过标准培训，各种体系结构以$ n^{o（k）} $示例学习稀疏的平等，而损失（和错误）曲线在$ n^{o（k）}后突然下降。 $迭代。这些积极的结果几乎匹配已知的SQ下限，即使没有明确的稀疏性先验。我们通过理论分析阐明了这些现象的机制：我们发现性能的相变不到SGD“在黑暗中绊倒”，直到它找到了隐藏的特征集（自然算法也以$ n^中的方式运行{o（k）} $ time）;取而代之的是，我们表明SGD逐渐扩大了人口梯度的傅立叶差距。

Offline policy evaluation is a fundamental statistical problem in reinforcement learning that involves estimating the value function of some decision-making policy given data collected by a potentially different policy. In order to tackle problems with complex, high-dimensional observations, there has been significant interest from theoreticians and practitioners alike in understanding the possibility of function approximation in reinforcement learning. Despite significant study, a sharp characterization of when we might expect offline policy evaluation to be tractable, even in the simplest setting of linear function approximation, has so far remained elusive, with a surprising number of strong negative results recently appearing in the literature. In this work, we identify simple control-theoretic and linear-algebraic conditions that are necessary and sufficient for classical methods, in particular Fitted Q-iteration (FQI) and least squares temporal difference learning (LSTD), to succeed at offline policy evaluation. Using this characterization, we establish a precise hierarchy of regimes under which these estimators succeed. We prove that LSTD works under strictly weaker conditions than FQI. Furthermore, we establish that if a problem is not solvable via LSTD, then it cannot be solved by a broad class of linear estimators, even in the limit of infinite data. Taken together, our results provide a complete picture of the behavior of linear estimators for offline policy evaluation, unify previously disparate analyses of canonical algorithms, and provide significantly sharper notions of the underlying statistical complexity of offline policy evaluation.

文本冒险游戏由于其组合大的动作空间和稀疏奖励而导致加强学习方法具有独特的挑战。这两个因素的相互作用尤为苛刻，因为大型动作空间需要广泛的探索，而稀疏奖励提供有限的反馈。这项工作提出使用多级方法来解决探索 - 与利用困境，该方法明确地解除了每一集中的这两种策略。我们的算法称为Exploit-Dear-Descore（XTX），使用剥削策略开始每个剧集，该策略是从过去的一组有希望的轨迹开始，然后切换到旨在发现导致未经看不见状态空间的新动作的探索政策。该政策分解允许我们将全球决策结合在该空间中返回基于好奇的本地探索的全球决策，这是由人类可能接近这些游戏的情况。我们的方法在杰里科基准（Hausknecht等人，2020）中，在杰里科基准（Hausknecht等人，2020）中，在确定性和随机设置的比赛中显着优于27％和11％的平均正常化分数。在Zork1的游戏中，特别是，XTX获得103的得分，超过先前方法的2倍改善，并且在游戏中推过已经困扰先前的方法的游戏中的几个已知的瓶颈。

互动学习和决策的基本挑战，从强盗问题到加固学习，是提供了实现的采样效率，自适应学习算法，实现了近乎最佳的遗憾。这个问题类似于最佳（监督）统计学习的经典问题，其中有众所周知的复杂性措施（例如，VC维度和Rademacher复杂性），用于控制学习的统计复杂性。然而，由于问题的适应性，表征交互式学习的统计复杂性基本上更具挑战性。这项工作的主要结果提供了复杂性措施，决策系数，被证明是必要的，并且足以用于采样有效的互动学习。特别是，我们提供：1。对于任何交互式决策问题的最佳遗憾的下限，将决策估计系数作为基本限制建立。 2.统一算法设计原理，估算到决策（E2D），它将任何用于监督估算的算法转换为决策的在线算法。 E2D遗憾的是符合我们下限的遗憾，从而实现了最佳的样本高效学习，其特征在于决策估计系数。一起参加，这些结果构成了互动决策的可读性理论。当应用于增强学习设置时，决策估计系数基本上恢复所有现有的硬度结果和下限。更广泛地，该方法可以被视为统计估算的经典LE CAM理论的决策理论;它还统一了许多现有方法 - 贝叶斯和频繁的方法。

自我注意事项是一种旨在在顺序数据中建模远程相互作用的建筑主题，它推动了自然语言处理及其他方面的许多最新突破。这项工作提供了对自我发项模块的归纳偏差的理论分析。我们的重点是严格确定哪些功能和远程依赖性自我注意力障碍更喜欢代表。我们的主要结果表明，有限的 - 标志变压器网络“创建稀疏变量”：单个自我发项头可以代表输入序列的稀疏函数，样品复杂性仅与上下文长度进行对数。为了支持我们的分析，我们提出了合成实验，以探测学习稀疏的布尔功能与变压器的样本复杂性。

随机梯度下降（SGD）已被证明在许多深度学习应用中都很好地概括了。在实践中，人们经常以几何衰减的步骤运行SGD，即，恒定的初始步骤，然后是多个几何步骤衰减，并将最后一个迭代用作输出。已知这种SGD几乎对经典有限维线性回归问题几乎是最佳的（Ge等，2019）。但是，在过度参数化设置中对SGD的最后一次迭代进行了彻底的分析。在本文中，我们对SGD的最后一个迭代风险界限进行了依赖问题的分析，并具有腐烂的步骤，以（过度参数化）线性回归问题。特别是，对于带有（尾部）几何衰减步骤的最后迭代SGD，我们证明了多余风险的上限和下限几乎匹配。此外，我们为最后一次迭代的SGD提供了多余的风险下限，并以多项式衰减的步骤进行了大小，并以实例的方式证明了几何腐烂的步骤的优势，这补充了先前工作中的最小值比较。

控制理论中的一个基本概念是可控性，可以通过适当的控制输入选择来达到任何系统状态。确实，大量的古典和现代方法是为可控的线性动力系统设计的。但是，在实践中，我们经常遇到系统，其中大量状态变量与控制输入无关。这样的系统仅是部分控制的。这项工作的重点是大量部分可控制的线性动力学系统，该系统由潜在的稀疏模式指定。我们的主要结果建立了结构性条件和有限样本保证，以学习控制此类系统。特别是，我们的结构结果是那些与最佳控制无关的状态变量的特征，该分析偏离了经典的控制技术。我们的算法结果适应了高维统计数据（尤其是软阈值和半参数最小二乘方形），以利用潜在的稀疏模式，以获得有限样本的保证，从而显着改善了基于一定程度等值的有限样本。我们还通过模拟研究证实了这些理论改进，而不是确定性等效控制。